热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

微博|部署ClouderaEDH集群考虑之二:服务和角色(操作型数据库)

在本节中特别强调了NavigatorEncrypt和KeyTrustee,尽管

点击Cloudera中国 即可订阅!


上周我们讲述了部署Cloudera EDH的考虑之二,即组成Cloudera 企业版部署的各种服务和角色。上周介绍的是分析型数据库。本周我们讲下操作性数据库。


操作数据库由以下一组核心高级组件支持:

上周关于分析型数据库的内容中对核心组件已经做了介绍,其它支持分析型数据库的组件也支持操作型数据库。 

HBase,Kudu和Solr为各种操作用例提供各种低延迟插入、更新、删除和提取存储选项。Solr由Hue进一步增强,这就是为什么我们在集群中包含Hue,以便快速提供创建搜索仪表板的方式。

 

Spark在这里不仅用于强大的处理功能,还用于SQL和流式处理以快速将数据带入该群集。

 

最后,通过流式传输,我们将包含一个Kafka专用集群,它通常是许多流式架构中的关键组件,特别是来自上游Spark Streaming用户将数据放在HBase,Kudu或Solr上。

 

可以按照下图所示分配服务:


操作型数据库特定组件

HBase:跨主节点部署一组HBase主控(HMaster)。RegionServers部署在所有工作节点上。 高可用性可通过ZooKeeper来确定哪些HMaster请求应该被指向。

 

Cloudera Search:Cloudera 搜索由几个组件组成,包括部署在所有worker节点上的Solr。 Hue是Cloudera搜索提供搜索仪表板功能的另一个组件。如果Solr服务器发生故障,Solr集合应复制到多个Solr服务器,以实现完全高可用性。

 

Kudu:请参阅上周分析型数据库中的内容,Kudu服务角色布局与此相同。

 

Spark和Spark2:请参阅上周分析型数据库中的内容,Spark服务角色布局与此相同。

 

Navigator:Navigator 加密和Key Trustee已在上周分析型数据库中的内容中进行了介绍。

 

Kafka:Kafka应该驻留在自己的群集中,尽管它可能由管理操作型数据库群集的同一个Cloudera Manager来管理。在前几个Kafka Broker中部署了一个单独的ZooKeeper集群以及一对Sentry角色。Kafka Broker中也可放Flume服务,使用Flume Source从上游来源获取数据,通过Kafka sink或Kafka channel将事件提供到Kafka集群,这些都需要Flume服务。

 

其余的服务在平台上都是通用的,在上周分析型数据库部分都已经介绍,可点击下方链接回顾上期内容。


微博 | 部署Cloudera EDH集群考虑之二:服务和角色(分析型数据库)


微博 | 部署Cloudera EDH集群考虑之一:架构


更多资讯,请点击“阅读原文”





推荐阅读
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 2018深入java目标计划及学习内容
    本文介绍了作者在2018年的深入java目标计划,包括学习计划和工作中要用到的内容。作者计划学习的内容包括kafka、zookeeper、hbase、hdoop、spark、elasticsearch、solr、spring cloud、mysql、mybatis等。其中,作者对jvm的学习有一定了解,并计划通读《jvm》一书。此外,作者还提到了《HotSpot实战》和《高性能MySQL》等书籍。 ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • 痞子衡嵌入式:对比MbedTLS算法库纯软件实现与i.MXRT上DCP,CAAM硬件加速器实现性能差异...
    大家好,我是痞子衡,是正经搞技术的痞子。今天痞子衡给大家介绍的是MbedTLS算法库纯软件实现与i.MXRT上DCP,CAAM硬件加速器实现性能差异。近 ... [详细]
  • 你知道Kafka和Redis的各自优缺点吗?一文带你优化选择,不走弯路 ... [详细]
  • 前言最近一段时间在整公司项目里一个功能的优化,用到了多线程处理。期间也是踩了不少的坑,在这里想说下我遇到的问题和注意事项。以及怎样知道启动的那些多线程都 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
  • 玩转直播系列之消息模块演进(3)
    一、背景即时消息(IM)系统是直播系统重要的组成部分,一个稳定的,有容错的,灵活的,支持高并发的消息模块是影响直播系统用户体验的重要因素。IM长连接服务在直播系统有发挥着举足轻重的 ... [详细]
  • 【技术分享】一个 ELF 蠕虫分析
    【技术分享】一个 ELF 蠕虫分析 ... [详细]
  • 讨伐Java多线程与高并发——MQ篇
    本文是学习Java多线程与高并发知识时做的笔记。这部分内容比较多,按照内容分为5个部分:多线程基础篇JUC篇同步容器和并发容器篇线程池篇MQ篇本篇 ... [详细]
  • ConsumerConfiguration在kafka0.9使用JavaConsumer替代了老版本的scalaConsumer。新版的配置如下:bootstrap. ... [详细]
  • 2019我的金三银四
    先讲一下自己的情况吧,二本学生,17年毕业,目前在一家跨境电商从事Java技术开发工作(不是阿里,没那么厉害),技术栈目前偏向于容器云、持续集成持续交付这一块,也就是SpringBoot、Kuber ... [详细]
author-avatar
yuan00911
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有